Agent Runtime
AI 推理服务平台从"基础设施"走向"智能体基础设施"的新型运行时；支持多模型编排 + 工具调用 + 记忆管理 + 工作流执行。
定义
- 多模型编排（路由 / 降级 / 集成）
- 工具调用（Function Calling / Tool Use）
- 记忆管理（短期 / 长期 / 语义检索）
- 工作流执行（多步骤推理 + 决策树）
- 状态持久化
- 可观测性
核心组件
- Model Router根据任务路由到不同模型
- Tool Registry注册可调用的工具/API
- Memory Store向量数据库 + 关系型数据库
- Workflow EngineDAG 形式的工作流编排
- Eval & Trace完整执行链路追踪
主要玩家
国际
- OpenAI Assistants API + Responses API
- Anthropic Claude Agent SDK
- Google Vertex AI Agent Builder
- LangGraph（LangChain）
- Microsoft Semantic Kernel + AutoGen
中国
在 AI 产业链中的角色
- 推理服务的新前沿从"单次 API 调用"演进为"多步骤 Agent 工作流"
- 2026 行业新焦点将重新定义推理服务平台的价值边界和竞争格局
- 重塑 MaaS 商业模式从 token 计费走向"Agent 工作流"计费
演进历史
- 2023-11 OpenAI GPTs / Assistants API 首发
- 2024 LangGraph / AutoGen / CrewAI 等开源框架兴起
- 2025 主要云厂商推出 Agent Runtime
- 2026 预计成为推理服务标配
相关概念
所属模型部署与优化